Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
吃透精度：精度目标缓解基于量规强化学习中的奖励黑客
🧭 LLM 强化学习奖励设计 · 精度目标
KAIST AI · Carnegie Mellon University Language Technologies Institute
提出 FORK 奖励，在量规覆盖（召回）外加入精度目标，抑制冗长与事实错误，大幅提升胜率
📌 工作参考价值（4 点）
- 在用 rubric/checklist 作为 LLM 生成任务（商品文案、推荐解释、搜索结果摘要、Push 文案）的 RL 奖励时，只优化 rubric 覆盖会诱导模型输出冗长且夹带虚构信息；可参考 FORK 同时优化 recall 与 precision，对每个输出片段做必要性打分，减少无效内容。
- 对于电商问答、导购 Agent 的 LLM 回复，若奖励只基于是否覆盖用户需求点，模型可能过度回答、幻觉具体参数；引入 factual-correctness grader 作为精度项，能直接抑制事实错误。
- 工程实现上，可把 rubric 覆盖作为 recall 信号，把“每个 rubric 项是否必要”与“事实核验”组合成 precision 信号；在生成式推荐解释场景中，该设计可显著提升 win rate 并降低平均回复长度。
- 该方法的奖励公式与思想可迁移到任何需要 rubric 约束的开端生成任务，但具体 factual grader 需根据业务数据微调或规则化。